Ông sinh ngày 11 tháng 12 năm 1921 tại Vientiane, Lào[4] trong một gia đình thương nhân, có đời sống kinh tế tương đối. Thời niên thiếu ông được học cấp Tiểu học và Trung học theo giáo trình Pháp tại Vạn Tượng (Vientiane). Năm 1942 ông tốt nghiệp Trung học phổ thông tại Lào với văn bằng Tú tài toàn phần (Part II). Sau đó ông được bổ dụng làm công chức tại Paksé, Nam Lào. Đầu năm 1949 ông theo cha mẹ trở về Việt Nam.

Quân đội Liên hiệp Pháp

Đầu năm 1949, sau khi hồi hương, ông nhập ngũ vào Quân đội Liên hiệp Pháp, được cử theo học khóa đào tạo sĩ quan người Việt tại trường Võ bị Địa phương ở Vũng Tàu (Cap Saint Jacques).[5] Cuối năm mãn khóa tốt nghiệp Thủ khoa với cấp bậc Thiếu úy.[6] Ra trường, ông được phục vụ trong một đơn vị Bộ binh.

Quân đội Quốc gia Việt Nam

Năm 1951, chuyển biên chế sang Quân đội Quốc gia, ông được thăng cấp Trung úy và được cử theo học lớp Chỉ huy chiến thuật tại Trung tâm Huấn luyện Chiến thuật Hà Nội.[7] Đầu năm 1952 ông được cử làm Trưởng phòng 2 (Tình báo) trong Bộ Chỉ huy Khu chiến Hưng Yên do Đại úy Dương Quý Phan[8] làm Chỉ huy trưởng. Giữa năm, ông được thăng cấp Đại úy và được cử làm Tiểu đoàn trưởng Tiểu đoàn 10 Việt Nam. Đầu năm 1954 đổi sang làm Trưởng phòng 3 (Hành quân) Khu chiến Hưng Yên. Tháng 7 năm 1954, di chuyển vào Nam đến tháng 3 năm 1955 ông được thăng cấp Thiếu tá và được cử làm Trưởng phòng 4 (Tiếp vận) tại Bộ Tổng tham mưu Quân đội Quốc gia.

Quân đội Việt Nam Cộng hòa

Cuối tháng 10 năm 1955, sau khi Chính thể Việt Nam Cộng hòa hình thành, ông được cử làm Tùy viên Quân sự Đại sứ quán Việt Nam Cộng hòa tại Thủ đô Washington DC, Hoa Kỳ. Đầu năm 1956 ông được triệu hồi về nước tiếp tục phục vụ tại Bộ Tổng Tham mưu. Tháng 6 cùng năm ông được cử tu nghiệp lớp Tham mưu cao cấp[9] tại Học viện Chỉ huy và Tham mưu Fort Leavenworth, Kansas, Hoa Kỳ. Đầu tháng 5 năm 1957 tốt nghiệp về nước, ông được bổ nhiệm làm Tham mưu trưởng Biệt bộ Tham mưu tại Phủ Tổng thống. Năm 1958 ông được thăng cấp Trung tá nhiệm chức.

Đứng ngoài các cuộc đảo chính

Trong cuộc đảo chính 1960, ông bị lực lượng đảo chính của Đại tá Nguyễn Chánh Thi bắt giữ và được thả ra sau khi cuộc đảo chính hoàn toàn thất bại. Ngay sau đó, ông được Tổng thống Ngô Đình Diệm bổ nhiệm làm Tư lệnh Lữ đoàn Nhảy dù thay thế Đại tá Nguyễn Chánh Thi đã đào thoát sang Campuchia. Cuối năm ông được thăng cấp Đại tá nhiệm chức.

Đến khi cuộc đảo chính 1963 nổ ra, ông là một trong những số ít sĩ quan cao cấp trung thành với Tổng thống Ngô Đình Diệm, kiên quyết không đứng về phe đảo chính do các tướng lĩnh Dương Văn Minh, Trần Văn Đôn, Tôn Thất Đính, Mai Hữu Xuân, Lê Văn Kim tiến hành. Vì vậy ông bị các tướng lĩnh tước quyền chỉ huy Lữ đoàn Nhảy dù, phải bàn giao cho Trung tướng Lê Văn Nghiêm. Tuy nhiên do sự can thiệp của tướng Tôn Thất Đính nên ông chỉ bị cách ly mà không rơi vào số phận bi thảm như các Đại tá Hồ Tấn Quyền, Lê Quang Tung. Sau 1 tuần lễ ông được phục hồi chức vụ Tư lệnh Lữ đoàn Dù.

Sau khi tướng Nguyễn Khánh thực hiện cuộc Chỉnh lý để giành quyền lãnh đạo, để tranh thủ sự ủng hộ của các sĩ quan trẻ, ngày 3 tháng 3 năm 1964, tướng Khánh đã thăng đặc cách cho ông tại mặt trận lên cấp Thiếu tướng nhiệm chức (ông bị thương trong cuộc hành quân Quyết Thắng tại Hồng Ngự, Kiến Phong). Ông là vị Đại tá cuối cùng được thăng cấp Thiếu tướng trước khi Việt Nam Cộng hòa đặt ra quy chế phong Đại tá lên Chuẩn tướng.[10]

Tháng 9 năm 1964 ông được tướng Khánh cử vào chức vụ Tham mưu trưởng Liên quân tại Bộ Tổng tham mưu, sau khi bàn giao chức vụ Tư lệnh Lữ đoàn nhảy dù lại cho cấp phó là Đại tá Dư Quốc Đống. Ngày 12 tháng 10 ông bàn giao chức vụ Tham mưu trưởng lại cho Trung tướng Trần Văn Minh (Lục quân) để đi giữ chức vụ Tư lệnh Quân đoàn III và Vùng 3 Chiến thuật thay thế Trung tướng Trần Ngọc Tám.[11] Đến tháng 2 năm 1965 tướng Khánh bị nhóm các tướng trẻ gạt bỏ khỏi chính quyền và ngày 11 tháng 10 cùng năm, ông được lệnh bàn giao Quân đoàn III lại cho Thiếu tướng Nguyễn Bảo Trị. Ngay sau đó ông được thăng cấp Trung tướng nhiệm chức và được bổ nhiệm vào chức vụ Tổng Tham mưu trưởng do Trung tướng Nguyễn Hữu Có, Tổng trưởng Quốc phòng, kiêm nhiệm.

Ngày 14 tháng 9 năm 1966, ông kiêm nhiệm Tư lệnh Hải quân thay thế Hải quân Đại tá Trần văn Phấn.[12] Hơn một tháng sau, ngày 31 tháng 10, ông bàn giao chức vụ Tư lệnh Hải quân lại cho Hải quân Đại tá Trần Văn Chơn. Ngày 28 tháng 1 năm 1967 ông kiêm nhiệm chức vụ Tổng trưởng Quốc phòng thay Trung tướng Nguyễn Hữu Có, cũng chính là người tiền nhiệm của ông trong vị trí Tổng Tham mưu trưởng, bị bãi chức trong khi đang đi công du tại Đài Loan. Cũng vào thời điểm này, ngày 2 tháng 4 ông được thăng cấp Đại tướng nhiệm chức. Ngày 7 tháng 11 cùng năm, bàn giao chức vụ Tổng trưởng Quốc phòng lại cho Trung tướng Nguyễn Văn Vỹ. Năm 1972 Hội đồng Nội các quyết định chức vụ Tổng Tham mưu trưởng được xếp ngang hàng với Tổng trưởng và được dự họp trong Hội đồng Nội các.